Seperti sebahagian besar lembaga negara Jepun lainnya, Bank Jepun didirikan setelah terjadinya Pemulihan Meiji. Sebelum Pemulihan, para tuan tanah Jepun mengeluarkan mata wang mereka masing-masing, yaitu hansatsu, dengan kesamarataan yang tidak jelas satu sama lain, tetapi Undang-Undang Mata wang Baru pada tahun 4 Meiji (1871) menyatakan bahawa yen adalah mata wang rasmi baru.

Bekas daerah kekuasaan para tuan tanah (Han) menjadi prefektur dan pabrik wang logam mereka menjadi bank-bank charter swasta, yang pada mulanya berhak mencetak wang. Pada suatu waktu, baik pemerintah pusat maupun bank-bank "negara" ini mencetak wang; untuk mengakhirinya, Bank Jepun didirikan pada tahun 15 Meiji (1882) dan diberi hak monopoli untuk mengawasi ketersediaan wang.

Tempat peletakan batu pertama Bank Jepun

Bank Jepun mencetak wang kertas pertamanya pada tahun 18 Meiji (1885), dan meskipun terdapat beberapa kegagalan kecil -- misalnya, tepung konnyaku yang dicampur ke dalam kertas bahan untuk mencegah pemalsuan telah menarik perhatian tikus -- wang tersebut cukup sukses. Pada 1897 Jepun bergabung dengan Standar emas dan pada 1899 bekas mata wang "negara" tidak berlaku lagi.

Bank Jepun terus bertahan, dengan pengecualian masa sekatan setelah Perang Dunia II ketika pihak Berikat mengeluarkan mata wang ketenteraan dan merestrukturisasi Bank Jepun ke dalam bentuk yang lebih independen. Meskipun telah dilakukan amandemen Undang-Undang Bank Jepun 1997 (日本銀行法) untuk memberikan kemandirian yang lebih, tetapi Bank Jepun telah dikritisi karena kekurangmandiriannya. Beberapa kebergantungannya adalah tertwang di dalam Undang-Undang itu sendiri, pada pasal 4:

Dengan memahami fakta bahawa mata wang dan kendali kewangan adalah bahagian penting dari dasar ekonomi menyeluruh, Bank Jepun akan selalu memelihara hubungan yang dekat dengan pemerintah dan saling bertukar pandangan secukupnya, sehingga mata wang dan kendali kewangan dan pijakan dasar dasar ekonomi pemerintah akan selalu harmonis.